Ранее ( http://kelijah.livejournal.com/197813.html) я описывал алгоритм получения SDR из word2vec векторов через факторизацию матрицы.

Далее опишу более прямой и проще модифицируемый способ получения SDR для слов с помощью deep learning автоэнкодера.
( Read more... )

Из картинки случайно берем патчи 8*8 пикселей. Всего получается 5000 таких кусочков, плюс отдельно 100 штук для контроля точности.

Далее sparse autoencoder с нелинейным выходным слоем (ага, так делать не совсем правильно).

После визуализации весов входов на скрытый слой получаются такие элементарные признаки:
( Read more... )

Что такое autoencoder: http://en.wikipedia.org/wiki/Autoencoder

Sparse autoencoder - разновидность этой модели, обычно для случая overcomplete feature set.

Описание и все необходимые формулы приведены в документе, который легко гуглится:

Andrew Ng "Sparse autoencoder. CS294A Lecture notes"

( Описание тестовой задачи и карта собранных признаков )